Zygmunt II sinh ngày 1 tháng 8 năm 1520, là con trai còn sống duy nhất của vua Zygmunt I của Ba Lan với vợ là Bona Sforza, nữ công tước xứ Milan và Bari. Từ năm 1529, ông đến cai trị Vilnius với tư cách là Đại vương công xứ Lietuva. Tháng 2 năm 1530, Tổng giám mục Gniezno và Tể tướng của Ba Lan Jan Laski đưa Zygmunt làm Thái tử kế vị.

Năm 1543, ông kết hôn với Elisabeth xứ Áo, con gái của Hoàng đế Ferdinand I của Habsburg. Cặp vợ chồng trẻ sống ở Vilnius, nhưng không có con do người vợ bị bệnh động kinh. Sau khi người vợ đầu tiên của ông qua đời năm 1545, Zygmunt bí mật kết hôn với Barbara Radziwill, em gái của Nicholas Radziwill Đỏ. Hai người quen nhau trong bí mật rất lâu. Cuộc hôn nhân với Radziwill của Zygmunt ngay lập tức bị nhà vua phản đối, giới quý tộc cho rằng ông làm xói mòn phẩm giá của triều đình và nhà nước